PR types

New features

PR changes

OPs

Describe

1. 功能：本PR的目标是提高attention模块的计算性能。
   为了减少框架层对op的调度开销，本PR通过在C++层手动实现attention模块，对外提供attention 大op；
   为了减少防存开销，本PR采取了两种优化方法：
   （1）在q,k,v计算时通过共享输入X，将该处的gemm，transpose和bias add从三次调用减少为一次；
   （2）使用kernel融合优化技术，在不同cuda kernel之间通过寄存器传输数据；

2. fused_attention_op 实现的计算逻辑：
   

3. fused_attention_op与paddle已有的MultiHeadAttention layer的不同：
   （1）计算逻辑范围扩大了，详见上面的伪代码。
   （2）q, k, v的weight存储格式不一样。
   原有的：保存在三个weight张量中，WQ, WK, WV
   本PR：保存在一个weight张量中，qkv_weight
   由WQ, WK, WV得到qkv_weight的方法：
   

4. 实现:
   本PR是fused_attention_op 的反向实现，具体细节：

（1）fused_attention_op.cc and fused_attention_op.cu
The C++ impl of backward for fused_attention_op.
Related preceding RRs:
#34883, #35308, #35350 #35621 , #35903, #35905

（2）functional/fused_attention/fused_mult_head_attention():
Add static graph construction method.

（3）test_fused_attention_op.py
Add code to test the correctness of backward of fused_attention_op.

（4）fused_transformer.py/FusedMultiHeadAttention layer:
Add FusedMultiHeadAttention layer.

（5）test_fused_attention_op_api.py
Test the correctness of fused_attention_op python API, both dynamic and static graph.

Unittest results